Vào thời nhà Lý, thế kỷ 11-12, vùng trung tâm tỉnh Sơn La ngày nay (gồm thành phố Sơn La, các huyện Mường La, Thuận Châu (Mường Muổi), Mai Sơn,...) là khu vực lãnh thổ định cư của một tiểu vương quốc bộ lạc được ghi nhận trong Đại Việt sủ ký toàn thư tên là Ngưu Hống[7][8].

Ngày 24 tháng 5 năm 1886, thành lập châu Sơn La (thuộc phủ Gia Hưng, tỉnh Hưng Hoá), tách từ tỉnh Hưng Hóa thành cấp tương đương với tỉnh. Thiếu tá De Chateaurochet làm Phó công sứ Sơn La. Kế nhiệm là Moulié (11/1886)

Ngày 9 tháng 9 năm 1891, thuộc Đạo Quan binh 4.

Ngày 27 tháng 2 năm 1892, thành lập tiểu quân khu Vạn Bú gồm 2 phủ và 8 châu, do thiếu tá Pennequin làm chỉ huy trưởng. Kế nhiệm ông là Đại uý Diguet (1893 - 1895) và thiếu tá Norminot (1895).

Ngày 10 tháng 10 năm 1895, thành lập tỉnh Vạn Bú, tỉnh lỵ ở Vạn Bú (tức Tạ Bú). Lúc này M.Caillat lên thay thiếu tá Norminot làm Công sứ Pháp ở tỉnh Vạn Bú.

Ngày 23 tháng 8 năm 1904, đổi tên thành tỉnh Sơn La, tỉnh lỵ chuyển về nơi ngày nay là thành phố Sơn La. Công sứ Pháp đầu tiên là Jean G. Monpeyrat, lên cầm quyền thay công sứ Sévénier từ năm 1902 đến năm 1909. Kế nhiệm ông là các công sứ Pháp như Hernandez (1909 - 1911), Fillion, Bonnermain, Louis Rene, Pierre Grossin, Nempont, Romanetti, Saint Poulof (1928 - 1933), Cousseau, Gabon, Robert[9]. Năm 1907, công sứ Monpeyrat cho xây dựng nhà tù Sơn La. Năm 1917, công sứ Pháp Laumet mở trường dạy chữ quốc ngữ và chữ Pháp. Năm 1933, công sứ Gabriel M. de Saint-Poulof (cầm quyền thay Romanetti từ năm 1928) bị đầu độc chết trong cuộc chiến đấu đòi vượt ngục của tù nhân ở Sơn La. Năm 1939, công sứ Cousseau lên thay. Năm 1944, Robert thay ông ta làm công sứ Sơn La và cai trị đến tận năm 1945.

Sau năm 1946, tỉnh Sơn La cùng với hai tỉnh Lai Châu và Phong Thổ (do Pháp lập ra) lập thành "Xứ Thái tự trị"nằm dưới sự chỉ đạo của Pháp. Bạc Cầm Quý làm tỉnh trưởng Sơn La.

Từ nằm 1948 đến 1953, thuộc Liên khu Việt Bắc. Lúc này tỉnh Sơn La có 6 huyện: Mường La, Thuận Châu, Phù Yên, Mai Sơn, Yên Châu, Mộc Châu.

Từ năn 1953 đến 1955, Sơn La thuộc Khu Tây Bắc

Từ năm 1955 đến 1962, bỏ cấp tỉnh, thuộc Khu tự trị Thái Mèo.

Từ năm 1962 đến 1975, tái lập tỉnh, thuộc Khu tự trị Tây Bắc (đổi tên từ Khu tự trị Thái Mèo), có 7 huyện: thêm huyện Quỳnh Nhai và Sông Mã, còn huyện Phù Yên chuyển sang tỉnh Nghĩa Lộ mới thành lập.

Đến cuối năm 1975, tỉnh Sơn La có tỉnh lị là thị xã Sơn La và 7 huyện: Mai Sơn, Mộc Châu, Mường La, Quỳnh Nhai, Sông Mã, Thuận Châu, Yên Châu.

Sau khi giải thể Khu tự trị Tây Bắc, tỉnh Sơn La nhập thêm 2 huyện của tỉnh Nghĩa Lộ vừa giải thể là Phù Yên và Bắc Yên. Từ đó, tỉnh Sơn La có tỉnh lị là thị xã Sơn La và 9 huyện: Bắc Yên, Mai Sơn, Mộc Châu, Mường La, Phù Yên, Quỳnh Nhai, Sông Mã, Thuận Châu, Yên Châu.

Ngày 2 tháng 12 năm 2003, chia huyện Sông Mã thành 2 huyện: Sông Mã và Sốp Cộp.[10]

Ngày 3 tháng 9 năm 2008, chuyển thị xã Sơn La thành thành phố Sơn La.[11]

Ngày 10 tháng 6 năm 2013, chia huyện Mộc Châu thành 2 huyện: Mộc Châu và Vân Hồ.[12]